Web sitenizin kök dizininde bulunan robots.txt dosyası, sitenizin güvenliği gibidir. Kapıda durur ve gelen arama motoru botlarına “Buraya girebilirsin, buraya giremezsin” talimatı verir.
Google Search Console raporunuzda “Robots.txt tarafından engellendi” hatası görüyorsanız, bu durum Googlebot’un o sayfaya girmek istediği ancak kapıdaki güvenliğinizin (robots.txt) ona izin vermediği anlamına gelir.
Peki, bu engelleme her zaman bir hata mıdır, yoksa bazen stratejik bir hamle mi olmalıdır? Gelin bu erişim sorununu nasıl yöneteceğinize bakalım.
Bu Uyarı Ne Zaman Doğaldır?
Eğer Google’ın dizinine eklenmesini ve arama sonuçlarında görünmesini kesinlikle istemediğiniz özel sayfalarınız varsa, bu uyarıyı almanız normaldir ve müdahale gerektirmez. Örneğin:
- Yönetici panelleri (Örn:
/wp-admin/) - Sepet ve ödeme sayfaları (Örn:
/cart/,/checkout/) - Site içi arama sonuç sayfaları (Örn:
/?s=arama-terimi)
Bu sayfaların taranmasını robots.txt ile engellemek, tarama bütçenizi (crawl budget) daha verimli kullanmanızı sağlar.
Bu Uyarı Ne Zaman Kritik Bir Hatadır?
Sorun, arama motorlarından organik trafik beklediğiniz ana kategori, ürün veya blog sayfalarınızın yanlışlıkla engellenmesiyle başlar. Bu genellikle şu hatalardan kaynaklanır:
1. Yanlış Yapılandırılmış Komutlar
Dosya içine yazılan ufak bir hata, tüm sitenizi felç edebilir. Örneğin, Disallow: / komutu sitenizdeki istisnasız her şeyin taranmasını engeller. Yeni bir site kurulurken veya taşınırken unutulan bu komut en sık karşılaşılan SEO facialarından biridir.
2. Parametreli URL Engellemeleri
E-ticaret sitelerinde filtreleme sayfalarını engellemek isterken, ana kategori URL’sini de kapsayan geniş bir Disallow kuralı yazılmış olabilir. Bu durum, temiz ve dizine eklenmesi gereken sayfaların da botlara kapanmasına neden olur.
3. CSS ve JS Dosyalarının Engellenmesi
Eskiden sitelerin tasarım dosyalarının engellenmesi yaygındı. Ancak günümüzde Googlebot sayfayı tıpkı bir insan gibi görsel olarak işler (render eder). Eğer CSS veya JavaScript dosyalarınızı robots.txt ile engellerseniz, Google sayfanızı “bozuk” veya “eksik” görür, bu da sıralamanızı düşürür.
Adım Adım Çözüm Stratejisi
Eğer trafik getirmesini beklediğiniz bir sayfa bu hataya takıldıysa, kapıları tekrar açmak için şu adımları izlemelisiniz:
- Adım 1: Engeli Test Edin: Hata veren URL’yi Search Console’daki “Robots.txt Test Aracı”na yapıştırın. Google, sayfanızı hangi satırdaki kuralın engellediğini size kırmızıyla vurgulayarak gösterecektir.
- Adım 2: Dosyayı Düzenleyin: Sitenizin kök dizinindeki (FTP veya dosya yöneticisi üzerinden)
robots.txtdosyasını açın. Sorunlu olanDisallow(İzin verme) komutunu silin veya sadece belirli bir parametreyi kapsayacak şekilde daraltın. Eğer dosyanın tamamen arama motorlarına açık olmasını istiyorsanız sadeceAllow: /kullanabilir veya sorunlu kuralları temizleyebilirsiniz. - Adım 3: Güncel Dosyayı Bildirin: Düzenlediğiniz dosyayı sunucuya geri yükledikten sonra, test aracına dönerek “Gönder” butonuna basın ve Google’a dosyanın güncellendiğini haber verin.
- Adım 4: Doğrulama İsteyin: Son olarak Search Console Dizin Kapsamı raporuna dönün ve “Düzeltmeyi Doğrula” diyerek süreci tamamlayın.
